即時快訊
圖/本報資料庫
產官資訊

·2 minutes ago·何映辰
#AI 代理#紅隊測試#網路安全#BotGauge#人工智慧
圖/本報資料庫
圖/本報資料庫
商傳媒|何映辰/台北報導
摘要

AI 安全新創 BotGauge AI 推出全新的 AI 代理紅隊測試平台,內建逾 200 種攻擊策略,旨在協助企業在 AI 代理部署前,透過模擬攻擊、追蹤與評估,有效識別並防堵如 Prompt Injection 等潛在安全漏洞,提升 AI 系統的韌性與可靠性。

AI 安全新創 BotGauge AI 今日(29日)宣布推出一款新的 AI 代理紅隊測試平台,旨在協助工程團隊攻擊、追蹤、評估並管理人工智慧(AI)代理。這項創新工具的目標是在 AI 代理部署前,有效識別並防堵潛在的安全威脅。

BotGauge AI 聯合創辦人兼執行長 Pramin Pradeep 指出,由於 AI 代理的複雜性,傳統軟體測試已不足以應對其特有的漏洞。他表示,AI 模型、提示(Prompt)或工具的微小變動,都可能導致代理產生出乎意料的行為,而大多數團隊往往在產品發布後才發現這些問題。該平台期望能讓開發者在早期階段發現問題,並確保相同的錯誤不再發生。

這款平台內建超過 200 種對抗性與真實世界的紅隊測試策略,所謂的「紅隊測試」是指透過模擬惡意攻擊來找出系統弱點的方法。這些策略涵蓋了多種攻擊手法,例如 Prompt Injection(利用設計過的輸入指令,使 AI 模型產生非預期行為)、政策繞過、工具濫用以及多輪操控。當平台偵測到攻擊導致的系統故障時,會立即追蹤其提示、工具呼叫、上下文(Context)與執行路徑,並將發現結果轉換為評估機制,應用於未來的版本中。

BotGauge 平台以輕量級的軟體開發工具包(SDK)形式運作,支援現有的 AI 開發堆疊,包括 OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI 與 AutoGen 等主流工具。此外,該平台已獲得 SOC 2 Type II 認證,並支援單一登入(SSO/SAML)與細粒度存取控制,確保企業級的資安標準。此次發布意味著隨著 AI 代理應用日益普及,企業得以重新掌握系統安全控制權。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源